#query-agnostic compression

Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read

排练一切，记住无物：Attic-KV 只排练将被读取的内容

🧭 LLM 长上下文 KV 缓存压缩 ★ 深度解读

Nanyang Technological University

提出训练无关的 Attic-KV 排练策略，以自生成 QA 与内容自适应锚点取代全文重读，大幅提升极限压缩下的长上下文问答与缓存复用

📌 工作参考价值（4 点）

电商商品详情、文档库做预计算 KV 缓存时，可用 LLM 对每个商品/文档生成“读者可能问的问题+原文引用答案”作为 rehearsal，再做 3-5% 预算的 KV 淘汰；比全文重读更能保住属性、价格、政策等答案片段，且 5% keep ratio 可把缓存容量放大 20 倍。
选择 rehearsal 长度不要固定比例，按内容稠密自适应：锚点数量=目标 keep ratio，再扩展到包含锚点的句子长度；商品参数表、FAQ、规格列表会被排练更多，营销 prose 少排练，避免预算浪费。
可直接替换现有 KVzip/KVgrad/RestoreKV 的 rehearsal，不改变 scoring、不重训；适合已有推理加速链路的团队，先用 KV2+Attic 低成本验证，再决定是否引入 restore tokens。
自生成 QA 放在离线/一次性路径，每个商品或文档只生成 6 个 Q&A（≤256 tokens），压缩耗时反而低于全文重读；适合大规模语料缓存、RAG 文档库与 Agent 长对话记忆。

LLM | 2026-10-08 | cs.CL | score 8/10

KV²：一种自精炼 KV 缓存压缩方法

🧭 LLM 推理 · KV cache 压缩 ★ 深度解读

Karlsruhe Institute of Technology

用轻量代理选少量锚点做选择性重建，在 2% KV 预算下大幅优于 KVzip 等基线

📌 工作参考价值（4 点）

对 Agent 长期记忆、用户历史、商品知识库等“一次缓存、多次 query”场景，优先用 query-agnostic 压缩；KV² 两阶段思路可复制：先用便宜业务信号（如 key 相似度、商品/行为 embedding）挑锚点，再做局部 max-attention 打分，比全量重建省钱。
可将 KV 预算压到 2%–5%，适合电商搜索/推荐的超长上下文（长用户序列、多商品文档），降低缓存显存和 decode 带宽；chunk size 4K 是性价比甜点。
默认单轮即可，别急着上多轮 self-refinement；只有在 proxy 很弱或 reconstruction 比例极小时才考虑 2–3 轮。
落地注意：论文基于 kvpress 的 masking 实现未物理 compact，需配合 headwise 变长 attention、paged cache 和重复 query 服务后端，才能把压缩阶段收益转成实际 decode 收益。

LLM | 2026-10-02 | cs.CL | score 8/10